Thái Nguyên là một cố đô do Triệu Giản Tử xây dựng vào khoảng năm 500 trước Công Nguyên, tên là Tấn Dương (晉陽). Tên của nó được đổi thành Thái Nguyên dưới triều đại nhà Tần. Có rất nhiều vị vua đã đến thành phố này, bởi vậy, thành phố còn được gọi là "Long Thành".

Một thành phố mới được xây năm 362 sau Công Nguyên mà sau này được kết nối với thành phố cũ vào thời nhà Đường năm 733 sau Công Nguyên.

Vào năm 617 sau Công Nguyên, Lý Uyên và con trai Lý Thế Dân khởi nghĩa chống lại nhà Tùy, và thành lập triều đại nhà Đường.

Công trình cổ nhất của Thái Nguyên là Thánh Mẫu điện (聖母殿), được xây vào năm 1023 và sửa lại năm 1102.

Thành phố đã từng chịu nhiều trận lũ lụt nặng nề vào các năm: 453 TCN, 969, và bị chiến tranh tàn phá vào năm 1125.

Vào thời nhà Minh, tường thành Thái Nguyên đã được dựng lại (năm 1568).